Páni z Vrtby (z rozrodu Hroznatovců) získali jméno podle hradu Vrtba u Horní Bělé, který vybudoval Sezima († 1344), syn Sezimy z Krašova († po 1284). Za věrnost Habsburkům byli v roce 1584 povýšeni do panského stavu. Po porážce stavovského povstání skupoval Sezima Jan z Vrtby († 1648), nejvyšší sudí a nejvyšší komoří, konfiskované statky, například Kosovu Horu, Votice či Červený Hrádek, dále rod vlastnil Nekmíř, Vrchotovy Janovice, Konopiště či zámek Nusle u Prahy. V roce 1624 byli povýšeni do hraběcího stavu, čímž Jan Sezima založil hraběcí rodovou větev. Jeho bratr Jan Hroznata založil větev jindřichovskou († 1724). Syny Sezimy Jana se hraběcí větev rozdělila na linii otickou († 1807) a konopišťskou († 1830). Hrabě Jan Josef z Vrtby († 1734) z konopišťské linie, nejvyšší pražský purkrabí a pokladník Království českého, přestavěl s přispěním předních umělců palác na Malé Straně. Rod vymřel po meči Františkem Josefem z Vrtby v roce 1830.